Sau khóa huấn luyện tại Quảng Châu, ông về nước. Tháng 2 năm 1928, ông được phân công làm Ủy viên Kỳ bộ Thanh niên Bắc Kỳ, phụ trách khu Duyên hải và trực tiếp làm Bí thư Tỉnh bộ Hải Phòng[3][4]. Tháng 9 năm 1928, thực hiện chủ trương "Vô sản hóa" của Tổng bộ Thanh niên, ông xin vào làm thợ tại xưởng Caron, và trở thành một trong lãnh đạo công nhân trong các đợt đấu tranh với giới chủ. Cuối năm 1928, ông viết tập tài liệu 16 trang với tiêu đề "Tổ chức công hội" nhằm truyền bá Chủ nghĩa Marx-Lenin, tổ chức bí mật in ấn lưu hành trong công nhân.[1]

Đầu năm 1929, xu hướng Cộng sản hóa bắt đầu phát triển mạnh mẽ trong nội bộ Việt Nam Thanh niên cách mạng đồng chí hội. Tháng 3 năm 1929, 7 đoàn viên trong Kỳ bộ Thanh niên Cách mạng Đồng chí Hội Bắc Kỳ gồm:

• Ngô Gia Tự
• Nguyễn Đức Cảnh
• Trịnh Đình Cửu
• Trần Văn Cung
• Đỗ Ngọc Du
• Dương Hạc Đính
• Nguyễn Tuân (Kim Tôn)

đã nhóm họp tại nhà 5D Hàm Long, Hà Nội, quyết định thành lập chi bộ cộng sản và bầu Trần Văn Cung (bí danh Quốc Anh) làm bí thư. Nguyễn Phong Sắc mặc dù vắng mặt do bận công tác đột xuất nhưng vẫn được công nhận là thành viên chính thức[5]. Đây là chi bộ cộng sản đầu tiên ở Việt Nam. Chi bộ này chủ trương tiến tới thành lập đảng cộng sản. Trên cơ sở đó, chi bộ tích cực chuẩn bị để đi đến thành lập một đảng cộng sản thay thế cho Việt nam Thanh niên Cách mạng Đồng chí Hội.

Tuy nhiên, tại đại hội lần thứ nhất của Việt Nam Thanh niên Cách mạng Đồng chí hội vào đầu tháng 5 năm 1929 đã xảy ra sự bất đồng giữa các đoàn đại biểu xung quanh việc xúc tiến thành lập đảng cộng sản. Đoàn đại biểu Bắc kỳ (gồm Trần Văn Cung, Ngô Gia Tự và Nguyễn Tuân) rút khỏi đại hội về nước.

Ngày 17 tháng 6 năm 1929 tại số nhà 312 Khâm Thiên, Hà Nội[6][7], đại biểu các tổ chức cơ sở cộng sản ở miền bắc họp đại hội quyết định thành lập Đông Dương Cộng sản Đảng, thông qua tuyên ngôn, điều lệ của đảng, quyết định xuất bản báo Búa Liềm, cử ra ban chấp hành trung ương lâm thời của đảng gồm: Trịnh Đình Cửu, Nguyễn Đức Cảnh, Ngô Gia Tự, Trần Văn Cung, Nguyễn Phong Sắc, Trần Tư Chính, Nguyễn Tuân (Kim Tôn). Tổ chức này phát triển ở Bắc kỳ và cử người vào Trung kỳ, Nam kỳ vận động thành lập đảng trong toàn thể Việt Nam.